#Influence Function

4 篇

IF-MAP: Influence-Function-Inspired Agent Prioritization in Multi-Agent Systems

IF-MAP：多智能体系统中受影响函数启发的智能体优先级排序

🧭 多智能体优先级排序与黑盒优化

The Chinese University of Hong Kong, Shenzhen · Harbin Institute of Technology · School of Engineering and Applied Sciences, Harvard University

提出 IF-MAP 黑盒方法，通过提示扰动与局部响应模型估计 agent 改进潜力，为多智能体系统确定优化优先级

📌 工作参考价值（4 点）

在多 Agent 搜索/推荐链路（如 query 改写、召回、排序、文案生成各由一个 LLM agent 负责）中，用 IF-MAP 式探测确定高杠杆 agent：对每个 agent 的 prompt 做少量语义扰动，记录端到端指标变化，优先调优影响最大的节点，避免平均分配算力
不需要访问模型参数/梯度，适合采用 API 或第三方模型的业务；只依赖 prompt embedding 与最终 loss，可在生产环境旁路低成本采样，不影响线上
拟合正则化局部响应模型，用系数范数做打分，可作为轻量级优先级评估器；工程上可在小样本上快速执行，并将得到的优先级迁移到不同底层模型（论文显示跨模型有效），适合先在小模型上探测、再决定生产模型升级顺序
成本收益：相比全量优化所有 agent，该策略可节省 35–74% token，同时提升宏观指标，适合需要频繁迭代 prompt 或替换模型的团队

MultiAgent | 2026-10-16 | HF Daily | score 7/10

DeMix：基于影响向量的混合数据错误类型调试框架

🧭 基于影响向量的训练数据调试 ★ 深度解读

Shanghai Jiao Tong University · ByteDance Inc. · Tiktok

利用完整的影响向量代替标量分数，通过多标签分类同步检测训练数据中的标签错误、特征错误和虚假相关三类问题。

📌 工作参考价值（4 点）

影响向量替代标量影响分数：在推荐或电商数据中直接对标量影响力（如留一法影响值）聚合会掩盖错误类型特异性。保留完整验证样本上的影响分布，再用 Set Transformer 编码，能更好捕获标签噪声、特征异常和虚假相关等细粒度错误模式。
无需完全干净的验证集：DeMix 通过干预不同的验证子集和模型架构，强制学到对验证集噪声、模型选择鲁棒的错误表征，适合推荐系统等验证集本身可能受系统性偏差污染的场景。
部署时采用验证集采样与模型集成：大规模推荐数据上计算完整影响向量开销大，可参照文中仅用 10% 验证子集和轻量模型集成（如 2~3 个不同架构），在保持调试 F1 几乎不降的情况下将运行时和显存大幅降低。
错误类型驱动的定向修复：识别出的标签错误、特征错误、虚假相关可分别应用重标注、Z-score 特征补全、少数群体重加权等修复策略，直接作用于召回/排序数据，提升后续模型 AUC。

Training | 2026-06-10 | cs.IR | score 8/10

影响引导的自我进化提升推理能力

🧭 自我进化训练 · 影响引导课程学习 ★ 深度解读

Yale University · Stanford University · University of Chicago · Toyota Technological Institute at Chicago · University of California, San Diego

提出INFUSER框架，用影响分数指导生成器与求解器协同进化，无需外部教师，大幅提升数学和通用推理性能。

📌 工作参考价值（4 点）

影响分数作为合成数据质量度量：使用开发集梯度与合成样本引起的模型更新方向的余弦相似度来评估单个样本的训练价值，可借鉴到推荐系统的样本筛选或Agent领域的数据蒸馏，替代简单的难度或困惑度指标。
生成器-求解器协同进化范式：将生成训练数据与模型训练建立成双层博弈，让生成器根据求解器当前能力实时调整输出，这类似推荐系统中召回与排序的联合优化或Agent多体协作的场景，可以通过更小的开发集引导数据生成远离分布外噪声。
DuGRPO稳定连续奖励训练：针对影响分数这类连续且带噪声的奖励，提出组内+批内双重归一化，避免低方差组的噪声放大和高方差组的梯度主导。在推荐模型的强化学习微调（如GRPO）中，当奖励函数从离散点击变为连续业务指标时，可直接复用该归一化技巧。
文档池作为可持续课程来源：利用无结构化文档（如教材）作为生成器输入，无需昂贵的人工标注，结合影响引导就能自动形成难度适中的课程。电商场景中可用商品描述、用户评论等非结构化文本，生成多模态问题-答案对，持续提升对话Agent或推荐解释生成的质量。

Training | 2026-06-08 | stat.ML | score 8/10

偏好感知影响函数引导的高效微调数据选择

🧭 数据选择 · 影响函数 · 偏好感知 ★ 深度解读

Shanghai Artificial Intelligence Laboratory

利用当前模型对目标示例的偏好加权构造目标方向，通过影响函数评分选择最有价值样本，提升微调数据效率

📌 工作参考价值（4 点）

在生成式推荐微调中，可用当前推荐模型对目标行为的响应概率作为权重，聚焦模型“附近”的高价值样本，避免均匀聚合造成的方向偏差。
影响函数评分公式 $s(z) = g_z^\top H_{\lambda}^{-1} g_{\text{KL}}$ 可直接嵌入现有微调流水线，配合 LoRA 等高效更新计算梯度，用于预算有限下的训练样本选择。
安全修复场景下，该方法能有效识别并移除导致有害行为的微调数据，可迁移到电商内容审核或多智体行为对齐中的训练数据清洗。
理论保证了一阶最优性：选择偏好加权方向下的 Top-$m$ 样本能最大化目标行为偏好的局部提升，为策略提供可靠依据。

Training | 2026-05-20 | cs.LG | score 8/10